머신러닝_09_파라미터 효율적 파인튜닝

1. 전체 파인튜닝의 부담

모델을 도메인에 맞게 바꾸고 싶을 때 가장 먼저 떠오르는 방법은 전체 파인튜닝이다. 기존 모델의 모든 가중치를 다시 학습시키는 방식이다. 직관적으로는 가장 솔직한 방법처럼 보인다. 모델 전체를 새 데이터에 맞게 다시 조정하는 셈이기 때문이다.

문제는 비용이다. 모델이 커질수록 메모리도 많이 들고, 학습 시간도 길어지고, 저장해야 할 체크포인트도 커진다. 여기에 데이터까지 충분하지 않으면 기존 능력을 망가뜨리거나 특정 데이터에 과하게 맞아 버릴 위험도 생긴다.

그래서 전체 파인튜닝은 "가장 강한 방법"이면서 동시에 "가장 무거운 방법"이다. 모든 상황에서 기본 선택지가 되기 어려운 이유가 여기에 있다.

2. PEFT의 발상

PEFT는 Parameter-Efficient Fine-Tuning의 줄임말이다. 핵심 생각은 단순하다. 모델 전체를 다시 움직이지 말고, 필요한 부분만 적게 바꿔서 새 작업에 적응시키자는 것이다.

이 접근이 중요한 이유는 모델의 기존 지식을 최대한 보존하면서도, 새 데이터에 맞는 조정을 별도로 얹을 수 있기 때문이다. 말하자면 거대한 기반 모델 전체를 다시 깎는 대신, 그 위에 얇은 조정층을 덧붙이는 발상에 가깝다.

이렇게 하면 학습해야 할 파라미터 수가 크게 줄고, 메모리 부담도 줄고, 저장과 배포도 가벼워진다. 그래서 PEFT는 단순한 속도 향상 기법이 아니라, 큰 모델을 현실적인 비용 안에서 다루게 만드는 방법으로 읽는 편이 맞다.

3. 어댑터와 추가 모듈

PEFT 계열에서 자주 쓰이는 방식은 모델 본체를 얼려 두고, 작은 추가 모듈만 학습시키는 것이다. 어댑터가 대표적이다. 기존 층 사이에 작은 학습 가능한 블록을 넣고, 본래 가중치는 건드리지 않은 채 이 추가 부분만 조정한다.

이 방식의 장점은 분명하다. 기반 모델은 그대로 두기 때문에 원래 지식을 비교적 안정적으로 유지할 수 있다. 동시에 새 태스크나 새 도메인에 맞는 변화는 따로 붙일 수 있다. 그래서 하나의 기반 모델 위에 여러 개의 적응 결과를 얹는 식의 운용도 가능해진다.

여기서 중요한 건 PEFT가 "모델을 덜 학습하는 방법"이 아니라는 점이다. 정확히는 "학습 범위를 다르게 자르는 방법"이다. 무엇을 남기고, 무엇을 바꿀지를 다시 정하는 쪽에 가깝다.

4. 언제 PEFT가 맞는가

PEFT는 모든 상황의 정답은 아니다. 그래도 몇 가지 조건에서는 특히 설득력이 크다.

첫째, 기반 모델이 이미 충분히 강할 때다. 기본 언어 능력이나 일반 상식이 잘 잡혀 있다면, 새로 필요한 건 전체 재학습보다 도메인 적응인 경우가 많다. 둘째, 학습 자원이 제한될 때다. GPU 메모리나 시간 예산이 넉넉하지 않다면 PEFT는 현실적인 선택지가 된다. 셋째, 하나의 기반 모델을 여러 태스크에 나눠 쓰고 싶을 때다. 태스크마다 전체 모델을 따로 들고 가는 것보다 훨씬 가볍다.

반대로 기반 모델 자체가 약하거나, 태스크가 기존 능력과 너무 멀다면 PEFT만으로는 부족할 수 있다. 이 경우에는 더 큰 모델을 쓰거나, 데이터 자체를 다시 설계하거나, 때로는 전체 파인튜닝까지 검토해야 한다.

5. PEFT가 풀어 주는 것과 못 푸는 것

PEFT가 잘 푸는 문제는 적응 비용이다. 적은 메모리, 적은 학습량, 작은 저장 공간으로도 모델을 특정 목적에 맞게 조정할 수 있게 해 준다. 그래서 큰 모델을 다루는 현실적인 경로가 된다.

하지만 PEFT가 만능은 아니다. 기반 모델이 원래 모르던 지식을 다 만들어 주지는 못한다. 데이터 품질이 나쁘면 그대로 나쁜 방향으로 적응할 수 있고, 태스크가 크게 다르면 작은 조정만으로는 한계가 분명하다. 무엇보다 기반 모델의 성격 자체를 완전히 바꾸는 데는 약하다.

그래서 PEFT를 이해할 때는 "싸게 튜닝하는 법" 정도로만 보면 부족하다. 정확히는 "기반 모델을 얼마나 믿을 수 있는가"를 전제로, 어디까지 적게 바꾸고 어디부터는 더 크게 손대야 하는지를 판단하는 방법이다. 이 감각이 있어야 그다음에 나오는 LoRA나 QLoRA도 왜 필요한지 자연스럽게 읽힌다.